最小二乘法

Least Squares Method

最小化误差平方和 来求解参数
最小二乘法是一切误差最小化问题的基础，是 SLAM、机器学习、数据拟合、参数估计的核心数学工具。

目标函数：

min_{x} \sum_{i = 1}^{n} {(y_{i} - f (x, t_{i}))}^{2} = min_{x} \sum_{i = 1}^{n} ∥ r_{i} (x) ∥^{2}

其中：

类型	误差特性	解法
线性最小二乘	误差关于参数是线性的	解析解（直接计算）
非线性最小二乘	误差关于参数是非线性的	迭代法（数值优化）

向量投影
$b = C + D t$
对 $A x = b$ ，如果方程无解
则求解 $A^{T} A \hat{x} = A^{T} b$ 得到方程的最优近似解 $\hat{x}$
使得 $E - {| | A x - b | |}^{2}$ 取得最小值

\begin{aligned} e & = E [Y - (a + b X)]^{2} \end{aligned}

$b_{0} = \frac{C o v (X, Y)}{D (X)}$ $a_{0} = E (Y) - b_{0} E (X)$

\begin{aligned} m i n E [Y - (a + b X)]^{2} & = E {[Y - (a_{0} + b_{0} X)]}^{2} = D Y - \frac{C o v^{2} (X, Y)}{D (X)} \end{aligned}

非线性最小二乘法 无法直接求解析解，必须使用数值迭代法。

r (x + Δ x) \approx r (x) + J (x) Δ x

其中： $J (x)$ ：雅可比矩阵

J (x) = \frac{\partial r (x)}{\partial x}

通过线性化，将优化转化为如下问题：

min_{Δ x} ∥ r (x) + J (x) Δ x ∥^{2}

解得：

(J^{T} J) Δ x = - J^{T} r (x)

这是一个 线性方程组 ，解出 $Δ x$ ，然后更新：

x_{k + 1} = x_{k} + Δ x

不断迭代，直到收敛。

高斯-牛顿法可能遇到：

(J^{T} J + λ I) Δ x = - J^{T} r (x)

特点：

适用于稀疏大规模问题，结合两种步长，提升收敛效率。

非线性最小二乘法库： g2o Ceres Solver

min_{{x_{i}}} \sum_{(i, j) \in C} ∥ z_{i j} - h (x_{i}, x_{j}) ∥_{Ω_{i j}}^{2}

其中：

核心任务：利用非线性最小二乘法优化整张图，找到最一致的位姿和地图。